SITA: Semantic Interest Tokens for Target-Aware Compression in Long-Sequence Recommendation
SITA：语义兴趣令牌实现长序列目标感知压缩
🧭 长序列推荐 · 目标感知压缩 · 语义令牌 ★ 深度解读
University of Science and Technology of China · Kuaishou Technology
通过语义码本组织兴趣令牌，在离线压缩的全局兴趣中实现目标感知选择
📌 工作参考价值（4 点）
- 语义分组压缩：用多个并行码本将商品离散化为语义组，用户侧维护每组K个兴趣令牌并离线存储，推理时仅按商品SID选取令牌，O(BNd)复杂度，适合高并发线上服务。
- BPQ码本设计：利用商品多模态特征训练并行码本，加入使用平衡正则化防止码字利用不均，可作为推荐系统语义特征编码或召回索引的通用技巧。
- 组内独立FFN+组间偏置交互：在保持语义分组的同时，用组间自注意力生成偏置，既保留结构又支持跨组信息融合，相比全量令牌自注意力复杂度更低（O(N^2) vs O((NK)^2)），适合兴趣解耦与融合场景。
- 工程部署：用户兴趣令牌存为KV对（UID→tokens），SID映射表存为特征，在线推理仅一次查表加轻量注意力，完全脱离原始行为序列，对时延友好。